ตำหนักกรมหมื่นมรุพงษ์ศิริพัฒน์ ซึ่งปัจจุบัน คือ พิพิธภัณฑ์เมืองฉะเชิงเทรา‬ เป็นโบราณสถานแห่งหนึ่งมีความสำคัญทางประวัติศาสตร์ ไม่แพ้ศาลากลางจังหวัดหลังเก่าหรือศาลากลางรัฐบาลมณฑลปราจีน เมื่อไทยใช้นโยบายการเมืองนำหน้าการทหาร และเปลี่ยนแปลงระบบการปกครองจากจตุสดมภ์มาเป็นระบบเทศาภิบาล ฉะเชิงเทราได้เป็นที่ตั้งของที่ว่าการมณฑลปราจีน และกรมหมื่นมรุพงษ์ศิริพัฒน์ สมุหเทศาภิบาล ผู้ทรงพระปรีชาชาญในวิชาการปกครองก็ได้รับการแต่งตั้งเป็นเจ้าเมืองในช่วงเวลานั้น การวางแผนก่อสร้างอาคารสถานที่ต่างๆ ในมณฑลปราจีนนั้น แท้จริงก็คือ การเริ่มต้นวางผังเมืองฉะเชิงเทรานั่นเอง ตำหนักกรมหมื่นมรุพงษ์ศิริพัฒน์ซึ่งเป็นเรือนไม้สองชั้น สร้างขึ้นเป็นที่พำนักของสมุหเทศาภิบาลในยุคนั้นจึงอาจถือได้ว่าเป็นก้าวแรกๆ ของการก่อสร้าง “บ้านพักข้าราชการ” ของแปดริ้ว ความสำคัญทางประวัติศาสตร์อีกอย่างหนึ่ง ซึ่งเป็นความภูมิใจอย่างยิ่งของชาวเมือง คือ ตำหนักแห่งนี้เคยเป็นที่ประทับพักแรมของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ในคราวที่เสด็จประพาสฉะเชิงเทรา ถึง 2 ครั้ง พระบรมฉายาลักษณ์ของพระองค์ท่านซึ่งได้พระราชทานไว้ตั้งแต่เสด็จประทับครั้งแรก พร้อมลายพระหัตถ์ มีความว่า “ให้ไว้สำหรับเรือนเทศาภิบาลมณฑลปราจีณ (เมืองฉะเชิงเทรา) เป็นที่ระลึกในการที่ได้มาอยู่ในที่นี้ ได้ความสุขสบายมาก ตั้งแต่วันที่ 24 ถึงวันที่ 29 มกราคม พ.ศ. 2450 รศ 40 126” ยังอยู่เป็นของคู่ตำหนักมาจนทุกวันนี้